Beliau dilahirkan di Hyderabad, Telangana, India dan berasal dari pelarian keluarga Pashtun Afridi. Selepas beliau dilahirkan, keluarganya berpindah dari Hyderabad ke Kaimganj dimana disitulah beliau dibesarkan. Beliau merupakan anak kedua dari 7 orang adaik beradik lelaki. Abang sulungnya Yousuf Husain adalah felo pendidik yang terkenal di India. Beliau juga ayah saudara kepada Masud Husain dan Anwar Husain antara tokoh terkenal di India dan bekas Pengarah Urusan Pakistan State Television. Cucunya, Salman Khurshid kini seorng ahli kongres politik juga bekas Menteri Luar India. Ayahnya pula, Fida Husain Khan meninggal dunia ketika beliau berusia 10 tahun manakala ibunya meninggal dunia pada tahun 1911 ketika beliau berusia 14 tahun.

Zakir Hussain memulakan persekolahan rendahnya di Hyderabad kemudian meneruskan pelajaran ke peringkat menengah di Sekolah Tinggi Islamia, Etawah, India dan menyambung pelajaran ijazah di Kolej Muhammadan Anglo-Oriental, (kini dikenali sebagai Universiti Islam Aligarh), dimana disitu beliau dipilih sebagai ketua pelajar. Beliau dianugerahkan Ijazah Kedoktoran Persuratan dalam bidang Ekonomi dari Universiti Berlin pada tahun 1926. Pada tahun 1915, ketika berusia 18 tahun, beliau mendirikan rumahtangga dengan Shah Jahan Begum dan dikurniakan dua orang anak perempuan, Sayeeda Khan dan Safia Rahman.